Analiza teksta dobiva na popularnosti zbog sve veće dostupnosti podataka i razvoja user friendly podrške za provedbu takve analize. Konceptualni pregled analize teksta ya sociologe je dostupan i u nedavno objavljenoj knjizi, koja se preporuča tek nakon savladavanja osnovnih tehničkih vještina i alata za obradu teksta. Provedba analize tekstualnih podataka je moguća na mnogo načina, a najšire korišten pristup je bag-of-words u kojem je frekvencija riječi polazište za analizu dok se (npr.) pozicija riječi u rečenici ili paragrafu zanemaruje. Bag of words pristup je ujedno i najjednostavniji (konceptualno i računarski) pa će biti korišten u ovom predavanju.
Postupak analize teksta započinje pripremom teksta (podataka), koja je često dosta zahtjevna i uključuje: uvoz teksta, operacije sa riječima, uređivanje i tokenizaciju, izradu matrice pojmova, filtiranje i ponderiranje podataka. Pri tome valja imati na umu da vrsta analize i korištena metoda određuju način na koji je potrebno pripremiti podatke za daljnu analizu te da svaka metoda ima svoje specifičnosti. Nakon pripreme podataka se vrši analiza teksta (podataka) metodama nadziranog strojnog učenja, ne-nadziranog strojnog učenja, statistike na tekstualnim podatcima, analize riječnika, analize sentimenta. Napredne metode analize podataka uključuju NLP, analizu pozicije riječi i sintakse…Sažeti prikaz workflow-a za analizu teksta izgleda ovako:
Procedura za analizu teksta.
U ovom predavanju ćemo koristiti tidytext pristup (i istoimeni paket) za analizu tekstualnih podatka, detaljno opisan u knjizi Text Mining with R. Ovaj paket služi kako bismo tekstualne podatke “uveli” u tidyverse ovir pomoću kojeg je moguće nestrukturirani tekst analizirati sa otprije poznatim alatima iz dplyr i ggplot paketa. Učitajmo potrebne pakete:
library(tidyverse)
library(tidytext)
library(data.table)
library(lubridate)
library(grid)
library(wordcloud)
library(reshape2)
library(igraph)
library(ggraph)
library(widyr)
library(topicmodels)
library(ggthemes)
library(DT)
library(kableExtra)
library(ggplot2)
library(ggthemes)
library(scales)
library(tidyverse)
library(httr)
library(lubridate)
library(dplyr)
library(data.table)
library(tidytext)
library(plotly)
library(readxl)Prije opisa podataka koje ćemo koristiti valja naglasiti da tidytext pristup nije jedini način za rad s podatcima u R. Ovdje ga koristimo jer je kompatibilan sa pristupima koje smo do sada koristili u okviru ovog kolegija. Drugi paketi (pristupi) za rad sa tekstom u R su:
quanteda je sveobuhvatan i funkcijama bogat paket, neophodan u za složeniju analizu teksta. Izvrstan tutorial je dostupan na linku.
text2vec je izrazito koristan paket za ML algoritme sa tekstualnim podatcima. Posebno je pogodan za izradu dtm i tcm matrica. Paket je motiviran python-ovom Gensim knjižnicom, a tutorial je dostupan na linku.
stringr paket je neophodan za manipulaciju string podataka u R i kao dio tidyverse svijeta će biti izrazito koristan u čišćenju i pripremi podataka. Vrlo je praktičan za rad sa regex-om i ima nekoliko izvrsnih funkcija za pattern matching. Službeni R Tutorial je dostupan na linku.
spacyr je wrapper paket za spaCy knjižnicu iz python-a i omogućava provedbu naprednijih NLP modela (deep learning, speech tagging, tkoenization, parsing) u R. Također je kompatibilan sa quanteda i tidytext paketima. Tutorial je dostupan na linku.
za one koji žele znati više mogu biti korisni i sljedeći resursi: vodič za tekstualnu analizu u R i kolegij za obradu prirodnog teksta u najstajnju koji sadrži i mnoštvo referenci.
Svaka analiza (teksta) počinje od podataka. Pribava tekstualnih podataka o specifičnim temama najčešće nije jednostavna. Najčešći je način preuzimanja podataka neki od dostupnih API servisa za novinske članke ili tekstualnih repozitorija ili servisi poput Twitter-a. No to često nije dovoljno ukolilko želimo analizirati specifičnu temu ili temu na specifičnom jeziku (npr. hrvatskom). Ovdje još valja napomeniti da je preuzimanje kvalitetnih tekstualnih podataka često moguće isključivo uz nadoplatu kao što je to slučaj člancima na hrvatskom jeziku kroz webhose.io servis, presscliping, presscut i mediatoolkit
U ovom ćemo predavanju analizirati tržište aparata za kavu u Hrvatskoj na osnovi osnovi svih tekstova objavljenih u svim domaćim medijima u perodu od 2021-01-09 do 2022-11-01. Članci su preuzeti strojno sa mediatoolkit servisa i identificirani na način da sadrže riječ: LatteGo, De`Longhi, Krups i Nesspreso. Na taj je način prikupljeno 290 objava koje sadrže ukupno 8.980 riječi. Analiza teksta koju ćemo provesti uključuje nekoliko etapa: čišćenje, uređivanje i prilagodbu podataka, dekriptivnu statistiku na tekstualnim podatcima, analizu sentimenta, analizu frekvencija i tematsku analizu.
Podatci za analizu su prikupljeni na prethodno opisan način i dostupni u GitHub repozitoriju kolegija. Učitajmo i pregledajmo cjelopkupni podatkovni skup:
## Rows: 289
## Columns: 45
## $ DATE <chr> "2022-01-10", "2022-01-08", "2022-01-07", "2022-~
## $ TIME <chr> "09:18:45", "18:32:43", "08:00:26", "18:00:00", ~
## $ TITLE <chr> "Hello.. #hello #monday #january #winter #day #w~
## $ FROM <chr> "anonymous_user", "Sarlo", "anonymous_user", "<U+0001D4EB><U+0001D4F8>~
## $ AUTHOR <chr> "anonymous_user", "Sarlo", "anonymous_user", "<U+0001D4EB><U+0001D4F8>~
## $ URL <chr> "https://www.instagram.com/p/CYiubD4owlX/", "htt~
## $ URL_PHOTO <chr> "https://mediatoolkit.com/img/50x50,sc,s-3IcNbqA~
## $ SOURCE_TYPE <chr> "instagram", "twitter", "instagram", "twitter", ~
## $ GROUP_NAME <chr> "Philips", "Philips", "Philips", "Philips", "Phi~
## $ KEYWORD_NAME <chr> "Nespresso", "Nespresso", "LatteGo", "Nespresso"~
## $ FOUND_KEYWORDS <chr> "nespresso", "Nespresso", "LatteGo, lattego", "n~
## $ LANGUAGES <chr> "hr, et, no", "hr", "hr, bs", "hr, sk", "hr", "h~
## $ LOCATIONS <chr> "EE, NO, HR", "HR", "HR, BA", "SK, HR", "HR", "H~
## $ TAGS <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ MANUAL_SENTIMENT <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ AUTO_SENTIMENT <chr> "neutral", "neutral", "positive", "neutral", "ne~
## $ MENTION_SNIPPET <chr> "Hello.. #hello #monday #january #winter #day #w~
## $ REACH <dbl> 50, 0, 30, 22, NA, NA, NA, NA, 10, 77, 0, 50, 46~
## $ VIRALITY <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, 0.0000000, 0~
## $ FOLLOWERS_COUNT <dbl> 0, 9, 0, 449, NA, NA, NA, NA, 0, NA, NA, 259, NA~
## $ LIKE_COUNT <dbl> 5, NA, 3, NA, NA, NA, NA, NA, 1, 0, 0, 3, 91, 0,~
## $ COMMENT_COUNT <dbl> 0, NA, 0, NA, NA, NA, NA, NA, 0, 0, 0, 2, 16, 0,~
## $ SHARE_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, 0, 0, NA, 6,~
## $ TWEET_COUNT <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ LOVE_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ WOW_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ HAHA_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ SAD_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ ANGRY_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ TOTAL_REACTIONS_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ FAVORITE_COUNT <dbl> NA, 0, NA, 0, NA, NA, NA, NA, NA, NA, NA, NA, NA~
## $ RETWEET_COUNT <dbl> NA, 0, NA, 0, NA, NA, NA, NA, NA, NA, NA, NA, NA~
## $ VIEW_COUNT <dbl> 0, NA, 0, NA, NA, NA, NA, NA, 0, NA, NA, 0, NA, ~
## $ DISLIKE_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ COMMENTS_COUNT <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ LIKES <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ DISLIKES <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ COUNT <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ REPOST_COUNT <lgl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ REDDIT_TYPE <chr> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ REDDIT_SCORE <dbl> NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, ~
## $ INFLUENCE_SCORE <dbl> 1, 1, 1, 1, 1, 1, 1, 1, 1, 3, 1, 1, 3, 1, 1, 3, ~
## $ TWEET_TYPE <chr> NA, "ORIGINAL", NA, "ORIGINAL", NA, NA, NA, NA, ~
## $ TWEET_SOURCE_NAME <chr> NA, "Twitter Web App", NA, "Twitter for Android"~
## $ TWEET_SOURCE_URL <chr> NA, "https://mobile.twitter.com", NA, "http://tw~
Nakon što smo učitali podatke u radni prostor R, potrebno je učitati i druge podatke koji su nam potrebni za ovu analizu. Osim članaka, potrebni su nam leksikoni i stop riječi. Leksikone ćemo preuzeti iz FER-ovog repozitorija, a “stop riječi” ćemo napraviti sami. Ti su podatci trenutno pohranjeni na privatnoj MFiles bazi pa ćemo ih od tamo preuzeti na lokalno računalno:
U sljedećem koraku ćemo stvoriti neke dodatne varijable korisne za analizu:
Potom pretvaramo podatke u dataframe, izabiremo varijable za analizu, specificiramo vremenski pečat članka kao datumsku varijablu, pripisujemo id svakom članku, izabiremo vremenski raspon analize i dodajemo numerički označitelj svakom članku:
## Rows: 289
## Columns: 9
## $ TITLE <chr> "Hello.. #hello #monday #january #winter #day #work #l~
## $ MENTION_SNIPPET <chr> "Hello.. #hello #monday #january #winter #day #work #l~
## $ DATE <chr> "2022-01-10", "2022-01-08", "2022-01-07", "2022-01-06"~
## $ SOURCE_TYPE <chr> "instagram", "twitter", "instagram", "twitter", "forum~
## $ AUTHOR <chr> "anonymous_user", "Sarlo", "anonymous_user", "<U+0001D4EB><U+0001D4F8><U+0001D4F8><U+0001D4F4><U+0001D4EA> <U+0001D4EB><U+0001D4F8>~
## $ FROM <chr> "anonymous_user", "Sarlo", "anonymous_user", "<U+0001D4EB><U+0001D4F8><U+0001D4F8><U+0001D4F4><U+0001D4EA> <U+0001D4EB><U+0001D4F8>~
## $ kword <chr> "Nespresso", "Nespresso", "LatteGo", "Nespresso", "Nes~
## $ datum <date> 2022-01-10, 2022-01-08, 2022-01-07, 2022-01-06, 2022-~
## $ clanak <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16,~
U sljedećem koraku provodimo tokenizaciju, odnosno pretvaranje teksta na jedinice analize koje su u ovom slučaju su riječi:
Potom valja očistiti riječi od brojeva i nepotrebnih riječi. Na tako uređenim podatcima ćemo potom napraviti deskriptivno-statistički pregled teksta.
Na tako uređenim podatcima ćemo napraviti deskriptivno-statistički pregled teksta:
## [1] "2021-09-01" "2022-01-10"
## word n
## 1 hrvatska 147
## 2 nespresso 92
## 3 de’longhi 60
## 4 lattego 45
## 5 dom 35
## 6 bauhaus 33
## 7 coffee 31
## 8 kavu 31
## 9 philips 31
## 10 samsung 31
## 11 kave 21
## 12 istria 20
## 13 mikulec 19
## 14 aparat 18
## 15 citroën 18
## 16 jysk 18
## 17 kler 18
## 18 namještaja 18
## 19 pogledajte 18
## 20 qualis 18
## 21 salon 18
## 22 akcija 17
## 23 krups 17
## 24 možete 17
## 25 philipscoffee 17
…i deskriptivno-statistički pregled objava:
## Domena
## 1 6
## # A tibble: 7 x 2
## SOURCE_TYPE n
## <chr> <int>
## 1 web 110
## 2 facebook 73
## 3 instagram 51
## 4 forum 44
## 5 youtube 5
## 6 twitter 4
## 7 reddit 2
## # A tibble: 4 x 2
## kword n
## <chr> <int>
## 1 Nespresso 135
## 2 DeLonghi 84
## 3 Krups 35
## 4 LatteGo 35
Nakon uređivanja podataka i osnovnog pregleda ćemo provesti analizu sentimenta. Za analizu sentimenta je potrebno preuzeti leksikone koji su za hrvatski jezik napravljeni u okviru FER-ovog Croatian Sentiment Lexicon. Analiza sentimenta i uključuje sentiment kroz vrijeme, doprinos riječi sentimentu, ‘wordCloud’ i analizu negativnosti brandova.
Pogledajmo prvo kako izgledaju leksikoni (koje smo učitali još na početku):
## word sentiment brija
## 1: vinkovac 0.466690 NEG
## 2: sjevernokorejski 0.565360 NEG
## 3: povećati 0.313030 NEG
## 4: pozicioniranje 0.657800 NEG
## 5: gioconda 0.262750 NEG
## 6: merck 0.221290 NEG
## 7: rabota 0.584370 NEG
## 8: hanna 0.192730 NEG
## 9: čep 0.445420 NEG
## 10: mojaš 0.053521 NEG
## word sentiment brija
## 1: interpretacija 0.35783 POZ
## 2: impotencije 0.25056 POZ
## 3: spomenica 0.42312 POZ
## 4: javnobilježnički 0.23628 POZ
## 5: ponavljati 0.36322 POZ
## 6: pobojati 0.32734 POZ
## 7: čovjekov 0.56796 POZ
## 8: podsvjesan 0.30703 POZ
## 9: izvođen 0.47948 POZ
## 10: ravnodušan 0.52308 POZ
## word sentiment brija
## 1: spomenut 0.290770 POZ
## 2: tunjić 0.224300 POZ
## 3: raymond 0.486590 NEG
## 4: kljuić 0.078255 POZ
## 5: aurora 0.223480 NEG
## 6: situiran 0.436550 POZ
## 7: noseća 0.499590 POZ
## 8: plot 0.260980 NEG
## 9: oformiti 0.499220 POZ
## 10: trijumfirati 0.489400 NEG
## word sentiment
## 1 složiti 0
## 2 ljestvica 0
## 3 vrhovan 0
## 4 planuti 1
## 5 imovinski 0
## 6 garaža 0
## 7 dodijeliti 0
## 8 zločin 1
## 9 saborski 0
## 10 povećati 0
Provjerimo kretanje sentimenta u vremenu:
Korisno je i promotriti koje riječi najviše doprinose sentimentu (pozitivnom, negativnom i neutralnom):
Korisno je pogledati i WordCloud sentiment. Pogledajmo “obični” WordCloud prije toga:
Ovako izgleda WordCloud koji sadržava i prikaz sentimenta:
Analiza sentimenta se može iskoristiti za pregled negativnosti pojedinih brandova:
## # A tibble: 2 x 4
## kword negWords word negativnostIndex
## <chr> <int> <int> <dbl>
## 1 LatteGo 1 547 0.183
## 2 Nespresso 1 1086 0.0921
…također i pozitivnosti brandova:
## # A tibble: 4 x 4
## kword pozWords word pozitivnostIndex
## <chr> <int> <int> <dbl>
## 1 DeLonghi 41 1368 3.00
## 2 Nespresso 20 1086 1.84
## 3 LatteGo 10 547 1.83
## 4 Krups 4 233 1.72
Nakon analize sentimenta je korisno analizirati i najbitnije riječi. To se radi pomoću IDF (inverse document frequency) metode. IDF metoda omogućuje identifikaciju važnih (ne nužno čestih) riječi u korpusu i može poslužiti za analizu najvažnijih pojmova po brandovima.
## kword word n totWords tf idf tf_idf
## 1 Nespresso nespresso 181 4143 0.043688149 0.2876821 0.012568297
## 2 DeLonghi hrvatska 146 2607 0.056003069 0.6931472 0.038818369
## 3 Nespresso za 144 4143 0.034757422 0.0000000 0.000000000
## 4 Nespresso i 136 4143 0.032826454 0.0000000 0.000000000
## 5 Nespresso u 115 4143 0.027757664 0.0000000 0.000000000
## 6 Nespresso je 108 4143 0.026068067 0.0000000 0.000000000
## 7 DeLonghi u 82 2607 0.031453778 0.0000000 0.000000000
## 8 DeLonghi de’longhi 72 2607 0.027617952 1.3862944 0.038286611
## 9 LatteGo lattego 58 1088 0.053308824 1.3862944 0.073901721
## 10 Krups krups 50 1142 0.043782837 0.6931472 0.030347950
## 11 Nespresso s 47 4143 0.011344436 0.0000000 0.000000000
## 12 DeLonghi za 45 2607 0.017261220 0.0000000 0.000000000
## 13 Nespresso na 45 4143 0.010861694 0.0000000 0.000000000
## 14 DeLonghi s 44 2607 0.016877637 0.0000000 0.000000000
## 15 DeLonghi i 41 2607 0.015726889 0.0000000 0.000000000
## 16 DeLonghi je 39 2607 0.014959724 0.0000000 0.000000000
## 17 LatteGo philips 37 1088 0.034007353 0.6931472 0.023572101
## 18 Nespresso kavu 37 4143 0.008930727 0.0000000 0.000000000
## 19 Nespresso kave 36 4143 0.008689356 0.2876821 0.002499772
## 20 DeLonghi dom 35 2607 0.013425393 1.3862944 0.018611547
## 21 Nespresso ili 35 4143 0.008447985 0.2876821 0.002430334
## 22 DeLonghi bauhaus 33 2607 0.012658228 1.3862944 0.017548030
## 23 DeLonghi na 32 2607 0.012274645 0.0000000 0.000000000
## 24 DeLonghi samsung 31 2607 0.011891063 1.3862944 0.016484513
## 25 Krups i 30 1142 0.026269702 0.0000000 0.000000000
## 26 LatteGo za 30 1088 0.027573529 0.0000000 0.000000000
## 27 Nespresso aparat 28 4143 0.006758388 0.0000000 0.000000000
## 28 Krups za 27 1142 0.023642732 0.0000000 0.000000000
## 29 Nespresso uz 26 4143 0.006275646 0.0000000 0.000000000
## 30 DeLonghi kavu 25 2607 0.009589567 0.0000000 0.000000000
Do sada smo analizirali tekst na osnovi pojedinačnih riječi. Takav pristup ograničava nalaze do kojih je moguće doći kada se tekst sagleda na osnovi fraza (dvije ili n riječi). U sljedećemo koraku ćemo tokenizirati tekst na bigrame (dvije riječi) kako bismo proveli frazeološku analizu. Korištenje bigrama otvara mogućnosti korištenja dodatnih pokazatelja pa ćemo provesti i analizu korelacije među riječima.
## bigram n
## 1 za kavu 64
## 2 de’longhi hrvatska 44
## 3 aparat za 36
## 4 bauhaus hrvatska 33
## 5 nespresso je 24
## 6 je u 22
## 7 istria de’longhi 20
## 8 my istria 20
## 9 jysk hrvatska 18
## 10 kler hrvatska 18
## 11 namještaja kler 18
## 12 qualis salon 18
## 13 salon namještaja 18
## 14 dom s 16
## 15 hrvatska family.hr 16
## 16 mirjanom mikulec 16
## 17 s mirjanom 16
## 18 tražimo dom 16
## 19 dom po 15
## 20 moj dom 15
## 21 za sve 15
## 22 family.hr de’longhi 14
## 23 hrvatska svijet 14
## 24 lesnina xxxl 14
## 25 philipshomeliving coffee 14
Provjerimo koje su riječi najviše korelirane sa izabranim ključnim riječima:
Na kraju provodimo tematsku analizu kao najsloženiji dio do sada provedene analize. Pri tome koristimo LDA (Latent Dirichlet allocation) algoritam kako bismo pronašli najvažnije riječi u algoritamski identificiranim temama. Ovdje je važno primijetiti da prije provedbe LDA modela tokenizirane riječi treba pretvoriti u matricu pojmova (document term matrix) koju ćemo kasnije koristiti kao input za LDA algoritam.
Tematsku analizu je moguće i napraviti na bigramski tokeniziranom tekstu. Tada je često moguće doći do preciznijih i kontekstualno relevantnijih uvida:
U ovom smo predavanju dali uvodni pregled mogućnosti analize teksta u okviru tidytext paketa. Riječ je o skupu alata koji omogućavaju “prilagodbu” teksta u tidy format i daljnu analizu s tidyverse alatima koje smo do sada već dobro upoznali. tidytext nije jedini dostupan okvir za analizu teksta u R, već postoji i niz drugih paketa (vidi na početku) koji omogućavaju korištenje naprednijih (algoritamkskih tehnika.
U predavanju su korišteni tekstovi objavljeni u svim hrvatskim medijima o proizvođačima aparata za kavu u razdoblju četiri mjeseca. Predavanje je imalo za cilj demonstrirati uvodne mogućnosti tekstualne analize te osnovnih tehnika i alata.
Analiza teksta (NLP) je trenutno (brzo) rastuće istraživačko područje sa sve većim brojem primjena, novih etodoloških pristupa i perspektiva. Dostupno je mnoštvo kvalitetnih i korisnih resursa pa se zainteresiranim studentima preporuča uključivanje u ovu (vrlo perspektivnu) istraživačku paradigmu.
Izradio lusiki
Data from Mediatoolkit